预测在环境中只有部分了解其动态的综合动态现象是各种科学领域的普遍存在问题。虽然纯粹的数据驱动方法在这种情况下可以说是不充分的,但是基于标准的物理建模的方法往往是过于简单的,诱导不可忽略的错误。在这项工作中,我们介绍了适当性框架,是一种具有深度数据驱动模型的微分方程所描述的不完整物理动态的原则方法。它包括将动态分解为两个组件:对我们有一些先验知识的动态的物理组件,以及物理模型错误的数据驱动组件核对。仔细制定学习问题,使得物理模型尽可能多地解释数据,而数据驱动组件仅描述了物理模型不能捕获的信息,不再少。这不仅为这种分解提供了存在和唯一性,而且还确保了可解释性和益处泛化。在三个重要用例中进行的实验,每个代表不同的现象,即反应 - 扩散方程,波动方程和非线性阻尼摆锤,表明,空间程度可以有效地利用近似物理模型来准确地预测系统的演变并正确识别相关的物理参数。
translated by 谷歌翻译
The usage of deep neural networks in safety-critical systems is limited by our ability to guarantee their correct behavior. Runtime monitors are components aiming to identify unsafe predictions and discard them before they can lead to catastrophic consequences. Several recent works on runtime monitoring have focused on out-of-distribution (OOD) detection, i.e., identifying inputs that are different from the training data. In this work, we argue that OOD detection is not a well-suited framework to design efficient runtime monitors and that it is more relevant to evaluate monitors based on their ability to discard incorrect predictions. We call this setting out-ofmodel-scope detection and discuss the conceptual differences with OOD. We also conduct extensive experiments on popular datasets from the literature to show that studying monitors in the OOD setting can be misleading: 1. very good OOD results can give a false impression of safety, 2. comparison under the OOD setting does not allow identifying the best monitor to detect errors. Finally, we also show that removing erroneous training data samples helps to train better monitors.
translated by 谷歌翻译
Within an operational framework, covers used by a steganographer are likely to come from different sensors and different processing pipelines than the ones used by researchers for training their steganalysis models. Thus, a performance gap is unavoidable when it comes to out-of-distributions covers, an extremely frequent scenario called Cover Source Mismatch (CSM). Here, we explore a grid of processing pipelines to study the origins of CSM, to better understand it, and to better tackle it. A set-covering greedy algorithm is used to select representative pipelines minimizing the maximum regret between the representative and the pipelines within the set. Our main contribution is a methodology for generating relevant bases able to tackle operational CSM. Experimental validation highlights that, for a given number of training samples, our set covering selection is a better strategy than selecting random pipelines or using all the available pipelines. Our analysis also shows that parameters as denoising, sharpening, and downsampling are very important to foster diversity. Finally, different benchmarks for classical and wild databases show the good generalization property of the extracted databases. Additional resources are available at github.com/RonyAbecidan/HolisticSteganalysisWithSetCovering.
translated by 谷歌翻译
随着机器学习(ML)在关键自主系统中的越来越多的使用,已经开发出运行时监视器来检测预测错误并使系统在操作过程中保持安全状态。已经提出了针对涉及各种感知任务和ML模型的不同应用,并将监视器进行了监视,并将特定的评估程序和指标用于不同的环境。本文介绍了三个统一面向安全的指标,代表了监视器的安全益处(安全增益),使用后的剩余安全差距(残留危险)以及对系统性能(可用性成本)的负面影响。要计算这些指标,需要定义两个返回功能,代表给定的ML预测如何影响预期的未来奖励和危害。三个用例(分类,无人机登陆和自动驾驶)用于证明如何根据建议的指标来表示文献的指标。这些示例的实验结果表明,不同的评估选择如何影响监视器的感知性能。由于我们的形式主义要求我们制定明确的安全假设,因此它使我们能够确保进行评估与高级系统要求符合。
translated by 谷歌翻译
非侵入性负载监控(NILM)试图通过从单个骨料测量中估算单个设备功率使用来节省能源。深度神经网络在尝试解决尼尔姆问题方面变得越来越流行。但是,大多数使用的模型用于负载识别,而不是在线源分离。在源分离模型中,大多数使用单任务学习方法,其中神经网络专门为每个设备培训。该策略在计算上是昂贵的,并且忽略了多个电器可以同时活跃的事实和它们之间的依赖性。其余模型不是因果关系,这对于实时应用很重要。受语音分离模型Convtas-Net的启发,我们提出了Conv-Nilm-Net,这是端到端尼尔姆的完全卷积框架。 Conv-NILM-NET是多元设备源分离的因果模型。我们的模型在两个真实数据集和英国销售的两个真实数据集上进行了测试,并且显然超过了最新技术的状态,同时保持尺寸明显小于竞争模型。
translated by 谷歌翻译
在学习断开分布时,已知生成对抗网络(GAN)面临模型错误指定。实际上,从单峰潜伏分布到断开连接的连续映射是不可能的,因此甘斯一定会在目标分布支持之外生成样品。这提出了一个基本问题:最小化这些领域的衡量标准的潜在空间分区是什么?基于几何测量理论的最新结果,我们证明,最佳甘恩必须将其潜在空间构造为“简单群集” - 一个voronoi分区,其中细胞是凸锥 - 当潜在空间的尺寸大于大于的数量时模式。在此配置中,每个Voronoi单元格映射到数据的不同模式。我们在gan学习断开的歧管的最佳精度上得出了上限和下限。有趣的是,这两个界限具有相同的减小顺序:$ \ sqrt {\ log m} $,$ m $是模式的数量。最后,我们执行了几项实验,以表现出潜在空间的几何形状,并在实验上表明gan具有与理论相似的几何形状。
translated by 谷歌翻译
机器学习中的一个开放问题之一是,是否有VC-Dimension $ d $的任何设置家庭均承认尺寸〜$ O(d)$的样本压缩方案。在本文中,我们研究了图中的球。对于任意半径$ r $的球,我们设计了适当的样品压缩方案$ 2 $ $ 2 $的树木的尺寸$ 3 $ $ 3 $,尺寸为$ 4 $的间隔图,尺寸$ 6 $ 6 $的循环树木和22美元$用于无立方的中位图。对于给定半径的球,我们设计了适当的标记的样品压缩方案,树木的尺寸为$ 2 $,间隔图的尺寸为$ 4 $。我们还设计了$ \ delta $ - 液压图的球的大小2的近似样品压缩方案。
translated by 谷歌翻译
Federated Learning是一个私人设计的分布式学习范式,客户在中央服务器汇总本地更新以计算全局模型之前,客户在自己的数据上训练本地模型。根据所使用的聚合方法,本地更新是本地学习模型的梯度或权重。最近的重建攻击对单个MiniBatch的梯度更新应用了梯度反演优化,以重建客户在培训期间使用的私人数据。由于最新的重建攻击仅关注单个更新,因此忽略了现实的对抗场景,例如跨多个小型批次训练的多个更新和更新。一些研究考虑了一个更具挑战性的对抗场景,在该场景中,只能根据多个迷你批次进行模型更新,并且可以观察到计算昂贵的模拟,以解开每个本地步骤的基本样本。在本文中,我们提出了一种新型的近似梯度反转攻击,可有效,有效地重建来自模型或梯度更新的图像,以及跨多个时期。简而言之,agic(i)近似于模型更新中使用的训练样本的梯度更新,以避免昂贵的仿真程序,(ii)利用从多个时期收集的梯度/模型更新,(iii)将权重增加到相对于层的重量增加重建质量的神经网络结构。我们在三个数据集CIFAR-10,CIFAR-100和Imagenet上广泛评估AGIC。我们的结果表明,与两种代表性的最先进的梯度反演攻击相比,AGIC将峰值信噪比(PSNR)提高了50%。此外,AGIC的速度比基于最新的模拟攻击快,例如,在模型更新之间使用8个本地步骤攻击FedAvg时,它的速度快5倍。
translated by 谷歌翻译
建模物理系统的数据驱动方法无法推广到与学习域共享相同一般动态的看不见的系统,但与不同的物理环境相对应。我们为此关键问题提出了一个新的框架,即上下文知识的动态适应(CODA),该框架考虑了整个系统之间的分布转移,以快速有效地适应新的动力学。 CODA利用多个环境,每个环境都与不同的动态相关联,并学会将动态模型定为上下文参数(特定于每个环境)。调节是通过超网络进行的,并从观察到的数据与上下文向量共同学习。提出的公式限制了搜索假设空间,以促进跨环境的快速适应和更好的概括。我们从理论上激励我们的方法,并在一组非线性动力学上显示出最新的概括结果,这是多种应用领域的代​​表。我们还在这些系统上还显示,可以从上下文向量中推断出新的系统参数,并以最小的监督为准。
translated by 谷歌翻译
计算机愿景的进步正在推动IM-Age操作的限制,具有在各种任务上采样详细图像的生成模型。但是,通常为每个特定任务开发和培训专门的模型,即使许多图像编辑任务共享相似之处。在去噪,染色或图像合成中,一个始终旨在从低质量的那样产生现实形象。在本文中,我们旨在迈出朝着图像编辑的统一方法。为此,我们提出Edibert,这是一个在由矢量量化的自动编码器构建的离散潜在空间中培训的双向变压器。我们认为这种双向模型适用于图像操纵,因为可以将任何补丁根据整个图像重新采样。使用这种独特和简单的培训目标,我们表明由此产生的模型与各种任务的最先进的性能相匹配:图像去噪,图像完成和图像组成。
translated by 谷歌翻译